Mẫu thử nghiệm cơ bản của Yak-28 bay lần đầu tiên vào 5 tháng 3-1958, và bắt đầu phục vụ trong biên chế các đơn vị vào năm 1960.

Phương Tây được tận mắt chứng kiến Yak-28 lần đầu tiên tại ngày hàng không Tushino, đúng vào ngày quốc tế lao động 1 tháng 5-1961. Các học giả phương Tây lúc đầu đánh giá nó là máy bay tiêm kích hơn là máy bay cường kích, và đây là một bản mở rộng của Yak-25M, do đó nó có tên ký hiệu là 'Flashlight'. Sau khi vai trò của nó được làm sáng tỏ, seri Yak-28 ném bom lại có tên gọi là 'Brewer' - người ủ bia.

Tổng cộng đã có khoảng 700 chiếc Yak-28 đủ mọi phiên bản được chế tạo. Yak-28P được rút khỏi biên chế vào đầu những năm 1980, nhưng phiên bản huấn luyện và các phiên bản khác còn được sử dụng cho đến khi Liên Xô sụp đổ, đến năm 1992. Máy bay trinh sát 'Brewer' và ECM cuối cùng được thay thế bởi các biến thể của Sukhoi Su-24 'Fencer'.

Yak-28 có một đôi cánh giữa lớn, cụp một góc 45°. Trên cánh thẳng đứng ở đuôi, còn có 2 cánh nhỏ hơn được thêm vào để tăng khả năng điều khiển bay). Những cánh tà nhỏ được đặt lên cánh chính. 2 động cơ phản lực Tumansky R-11, lúc đầu lực đẩ mỗi chiếc là 57 kN (12.795 lbf), được đặt ở 2 cánh chính, giống như là Yak-25 trước đây. Ở phần cánh chính còn được đặt các bánh máy bay, điều này làm thân máy bay rộng hơn, cho phép mang nhiều nhiên liệu hơn. Yak-28 có thể đạt đến vận tốc âm thanh, tốc độ Mach 1 có thể đạt được ở trên độ cao lớn.